循環神經網路

若以人體器官來比喻的化，CNN就猶如人類的眼睛，可以快速辨識圖片；而RNN對人類而言就像是耳朵與嘴巴一樣，能有效聽懂聲音、看懂文章這就是所謂的循環神經網路(Recurrent Neural Network,RNN)。

RNN基本定義

所謂RNN是指一種能利用記憶「過去歷史的訊息」、結合「當前的輸入」來對未來序列的訊息進行預測的一種學習網路架構。類似於隱藏馬可夫鏈的概念。

RNN特色

• 兩個影響力量:每個隱藏節點同時受到「上一個隱藏節點」與「目前輸入」兩種參數共同影響，一般深度學習網路只受輸入的一個影響。
• 節點彼此之間有關係不獨立:同一層的隱藏節點與節點之間有序列的關係存在，不互相獨立。
• 記憶的功能:RNN節點存在著記憶中過去處理過訊息的機制，傳統網路沒有任何記憶功能。
• 處理序列訊息:主要運用在序列訊息上，包含文字序列(Word Sequence)、聲音序列(Audio Sequence)、影片序列(Video Sequence)等等。

RNN適用類型

• 序列對序列的訊息(Sequence to Sequence)(M:M):多對多的關係，指輸入一個序列的訊息也輸出一個序列的訊息，例如:文字轉語音，語音轉文字等等。
• 序列對向量的訊息(Sequence to Vector)(M:1):多對一的關係，輸出一系列訊息則輸出一個向量值，例如:輸入一張圖象，輸出一張描述圖像的文字。
• 向量對序列的訊息(Vector to Sequence)(1:M):一對多的關係，指輸入一個向量輸出一系列的訊息。例如輸入一個字，輸出一串句子、一首詩等等。

RNN缺點

• 無法記憶長期依爛關係(Long-term Dependency):RNN的每個節點受到歷史記憶的影響，離遠遠的節點對目前的影響力越弱，到了某個長距離就會變得幾乎沒有影響。例如:「天氣」接著「很好」這種較短的詞語，RNN能夠很有效的預測，但若是:我是醫生，我住在美國，我最擅長的技能是____。這時候RNN已經沒有辦法掌握「醫生」與「看病」的關係了，然而在實際文本中，重要的關鍵字不見得與距離有關，而是與語意結構有關，也因此能處理這種長距離的例如:LSTM、GRU等等已經逐漸取代RNN。
• 固定長度限制:RNN的輸入節點語輸出節點長度是固定的，但有許多序列對序列的應用並非如此，例如中文翻成英文並不一定是對等字數。為解決這問題後續發展出了編碼氣語解碼器。
• 只有單向:RNN只能由前面的訊息來預測後面的訊息。

參考資料
人工智慧-概念應用與管理 林東清 著